FC-SJ-25視覺感知與工業(yè)機器人實訓(xùn)平臺

一、面向?qū)I(yè)和課程

面向?qū)I(yè)：機器人工程、自動化、機電、機械等專業(yè)

適用課程：機器人運動控制、機器人編程與應(yīng)用、機電一體化、工業(yè)機器人系統(tǒng)集成、PLC電氣控制、機器視覺等

二、產(chǎn)品概述

1.系統(tǒng)結(jié)構(gòu)組成

針對工程應(yīng)用中對工業(yè)機器人作業(yè)與應(yīng)用需求，實訓(xùn)平臺采用工業(yè)機器人與控制系統(tǒng)、視覺感知系統(tǒng)、傳感系統(tǒng)及輔助模塊相結(jié)合，通過模塊化設(shè)計，實現(xiàn)機器人實踐教學(xué)與科研驗證。在機器人工作平臺中，工業(yè)機器人通過與視覺系統(tǒng)的協(xié)同，完成軌跡示教、搬運、碼垛、視覺系統(tǒng)標定、目標空間定位、物品識別、物體抓取、零件裝配等應(yīng)用。此外，系統(tǒng)內(nèi)部采用PLC控制系統(tǒng)與以太網(wǎng)通信，對機器人運動全過程進行信息實時監(jiān)測與控制。

三、產(chǎn)品簡要介紹如下：

（1）采用PLC進行機器人、輸送線、氣缸、傳感器、視覺系統(tǒng)等的統(tǒng)一控制，可以實現(xiàn)學(xué)生通過PLC編程控制機器人運動的功能；

（2）提供機器人運動控制及信息交互的部分通信協(xié)議，學(xué)生可以充分理解并實踐以太網(wǎng)通信技術(shù)在工業(yè)機器人系統(tǒng)中的應(yīng)用；

（3）提供2D和3D工業(yè)級視覺系統(tǒng)，開源機器視覺標定、定位、檢測、識別與測量等方向源代碼，或根據(jù)需要部署圖形化編程軟件；

（4）提供基于深度學(xué)習(xí)的圖像處理技術(shù)，可實現(xiàn)對復(fù)雜場景中各種類目標的檢測與識別，貼近工業(yè)現(xiàn)場的實際檢測需求；

（5）部署人機交互系統(tǒng)，可控制工業(yè)機器人完成示教、語音交互、手勢圖像交互等操作，并實時顯示機器人的運動狀態(tài)。

2.硬件設(shè)計思路

工業(yè)機器人選擇知名品牌六軸工業(yè)機器人,機器人通信系統(tǒng)集成在控制柜上，提供RS232，RS422，以太網(wǎng)等通信方式，提供部分詳細通信協(xié)議，學(xué)生通過以太網(wǎng)通信編程可以直接控制機器人的動作并實時監(jiān)測機器人的運動過程狀態(tài)。

視覺系統(tǒng)包括1套2D視覺系統(tǒng)和1套3D視覺系統(tǒng)，2D視覺系統(tǒng)采用600萬像素工業(yè)相機、600萬像素工業(yè)鏡頭、環(huán)形光源及數(shù)字可編程光源控制器，滿足工業(yè)機器視覺檢測需求。視覺系統(tǒng)通過以太網(wǎng)與外界進行通信。3D視覺系統(tǒng)采用一臺200萬像素級的深度相機，可進行物體輪廓測量、距離測量，并引導(dǎo)機械臂的動作。

氣動系統(tǒng)主要包括電磁閥、氣動夾具與真空氣泵等外設(shè)，用于實驗工件的拾取與釋放等操作。

工作臺架設(shè)置了專用于工業(yè)機器人基礎(chǔ)實驗的碼垛、拆跺、軌跡跟蹤、裝配等所需模塊與模具，以及工業(yè)機器人視覺檢測所需的外設(shè)模塊。同時，臺架設(shè)置了快速更換工件區(qū)與立柜式工件倉儲區(qū)，通過工件的抓取，旋轉(zhuǎn)，放置等流程，完成機器人切割，碼垛等任務(wù)執(zhí)行的工件切換。

另外，還在臺架上設(shè)置了桌面式運輸模塊，通過上料模塊的輸入，采用傳感器探測物流的運輸位置，然后通過2D和3D視覺模塊，實現(xiàn)對物料的平面或立體特征的提取，驅(qū)動機器人完成不同的任務(wù)。此外，針對動態(tài)旋轉(zhuǎn)目標，機架上設(shè)置了旋轉(zhuǎn)送料機構(gòu)，機器人動態(tài)抓取目標后，通過工業(yè)視覺系統(tǒng)對物料底部進行掃描，獲得工件的表面特征，最后檢測識別后根據(jù)任務(wù)需求做出各類執(zhí)行動作。

四、主要技術(shù)與功能介紹

實訓(xùn)平臺所涉及的主要技術(shù)與功能主要包括以下幾個方面：

1.機器人與機電控制技術(shù)

在充分保障工業(yè)機器人使用安全的前提下，能開放部分PLC控制模塊，可以實現(xiàn)學(xué)生通過PLC編程控制機器人部分運動的功能。學(xué)生可以利用計算機完成PLC編程與編譯等工作，然后下載至實驗系統(tǒng)再運行，完成機器人控制與PLC編程實踐。除此以外，對整個機器人的六軸聯(lián)動控制仍可以通過示教編程或計算機編程下載實現(xiàn)。

2.工業(yè)機器人通信技術(shù)

平臺提供機器人運動控制及信息交互的部分通信協(xié)議，學(xué)生可以利用同網(wǎng)絡(luò)的計算機，通過通信編程對工業(yè)機器人輸出信息進行解碼與狀態(tài)監(jiān)測，同時，也可以向機器人發(fā)送部分在安全操作范圍內(nèi)的動作控制指令與其他程序。利用實訓(xùn)平臺，學(xué)生可以充分理解并實踐以太網(wǎng)通信技術(shù)在工業(yè)機器人系統(tǒng)中的應(yīng)用，了解工業(yè)領(lǐng)域通信方式與協(xié)議的編制，同時還可以全方位實踐以太網(wǎng)通信的全過程，為機器人遠程數(shù)據(jù)采集與傳輸?shù)於ɑA(chǔ)。

3.工業(yè)機器人視覺技術(shù)

實訓(xùn)平臺提供高清穩(wěn)定的工業(yè)級視覺系統(tǒng)，開源機器視覺標定、定位、檢測、識別與測量等方向的機器視覺源代碼，并將檢測結(jié)果與機器人動作控制執(zhí)行相統(tǒng)一。學(xué)生可以采用OpenCV、圖像處理算法、人工智能算法完成圖像的檢測，并調(diào)用相應(yīng)的控制API，完成機器人結(jié)果分選，如顏色分選、形狀分選、不同物品分選、缺陷檢測等，也可以完成智能碼垛，如不同尺寸、不同形狀的物件設(shè)置不同分值，進行限時碼垛計算分值競賽等。通過對該技術(shù)的探索，可為機器人在各類實際工業(yè)場景中的智能作業(yè)提供強有力技術(shù)支撐。

4.基于深度學(xué)習(xí)的目標檢測與識別技術(shù)

深度學(xué)習(xí)是近年來人工智能的典型代表。平臺通過搭載深度學(xué)習(xí)算法模型，可實現(xiàn)對復(fù)雜場景中的各種類型的目標檢測與識別。在真實的工程環(huán)境條件下，由于作業(yè)條件的動態(tài)變化，采用傳統(tǒng)機器視覺容易受參數(shù)的影響而檢測不準，識別精度不夠，因此，采用深度學(xué)習(xí)算法，通過構(gòu)建工程場景下的目標檢測與識別，完成多類目標的快速、準確檢測與識別，為機器人的決策提供基礎(chǔ)。

5.人機交互技術(shù)

工業(yè)機器人作為無人化操作的執(zhí)行者，可以完成示教、語音交互、手勢圖像交互等操作。在實驗過程中，學(xué)生可以通過編程實現(xiàn)對自然語言、手勢圖像的識別，并控制工業(yè)機器人精準完成某些特定的動作，如向上移動20cm。在工業(yè)機器人運行過程中，系統(tǒng)提供顯示屏實時顯示機器人的運動狀態(tài)。

五、硬件設(shè)備介紹

1.工業(yè)機器人本體

工業(yè)機器人本體作為該實驗系統(tǒng)的核心與動作執(zhí)行器，其主要功能是完成控制系統(tǒng)所產(chǎn)生的一系列行為決策。系統(tǒng)運動準確、可靠、穩(wěn)定，且在運行過程中，系統(tǒng)設(shè)計有多重防碰撞、防傷人的傳感模塊。此外，系統(tǒng)設(shè)置有緊急停止開關(guān)與柔性控制功能，防止機器人失控，保障系統(tǒng)安全。

工業(yè)機器人本體有兩種配置：ABB品牌的IRB120，或者埃夫特品牌的ER3-600。參數(shù)分別如下：

配置一：ABB IRB120

該本體為柔性生產(chǎn)低負載常用本體，本體質(zhì)量相對較輕，僅重25kg，有效載荷負重3kg，垂直腕4kg，可滿足實驗室日常使用需求。機器人本體安全、可靠，防護等級達IP30，可有效防止意外事故的發(fā)生。

機器人本體具體參數(shù)如下：

配置二：埃夫特 ER3-600（或其他用戶指定的機械臂）

該本體為柔性生產(chǎn)低負載常用本體，本體質(zhì)量相對較輕，僅重27kg，有效載荷負重3kg，可滿足實驗室日常使用需求。機器人本體安全、可靠，防護等級達IP40，可有效防止意外事故的發(fā)生。

機器人本體具體參數(shù)如下：

2.實訓(xùn)平臺單元模塊介紹

（1）示教模塊

示教模塊提供錐體、傾斜矩形、傾斜圓形三個模塊，可供機械臂在三維空間中進行多個坐標的拖動控制，完成示教編程基本運動指令、精確定位和軌跡逼近等實驗功能，同時也可以驗證機械臂運動的準確性和重復(fù)動作的穩(wěn)定性。

（2）軌跡路徑模塊

軌跡路徑由直線、曲線及其組合而成的多種圖形構(gòu)成。機械臂在實際應(yīng)用過程中，比如產(chǎn)品分類、搬運、焊接等場景，將使用到各種各樣的動作，以適應(yīng)場景中物體的位置和形狀要求，因此，通過編程實現(xiàn)機器人的多種軌跡運動，具有基礎(chǔ)性的意義。

（3）快換工具模塊

快換工具模塊提供夾爪和吸盤兩種工具，夾爪和吸盤是機械臂在工程應(yīng)用中最常見的兩種夾持手段，夾爪有電動夾爪和氣動夾爪兩種，吸盤通常有單吸盤、雙吸盤、四吸盤的組合。在機械臂末端安裝法蘭盤，快換工具與其配套使用，即可實現(xiàn)工具的快速更換。

（4）立體倉儲模塊

立體倉儲模塊分為上下四層，每層設(shè)置3個工位。每個工位都可以放置正方形、長方形或圓形的物料。同時，每個工位安裝有光電傳感器，通過 PLC 將信

號數(shù)據(jù)采集到控制器，由此可判斷此工位是否有物料，從而決定機器人是否需要到庫位進行物料抓取。

（5）旋轉(zhuǎn)送料模塊

旋轉(zhuǎn)供料模塊可應(yīng)用于碼垛實驗中，也可以與其他的模塊進行聯(lián)動。當開展該功能的實驗時，旋轉(zhuǎn)機構(gòu)與機器人的抓取動作聯(lián)動，機器人每抓取一個物料，旋轉(zhuǎn)機構(gòu)即刻將下一個物料送至抓取區(qū)。

（6）物料分揀模塊

物料分揀有兩種方式，一是機械臂通過預(yù)先示教，依次對固定位置的物料進行分揀，從而培養(yǎng)學(xué)生對機械臂復(fù)雜動作的控制能力；二是在視覺系統(tǒng)的引導(dǎo)下，可對隨機擺放的物料進行識別和自適應(yīng)分揀，從而進行機械臂的柔性生產(chǎn)作業(yè)。

（7）2D視覺模塊

2D視覺模塊即一套標準工業(yè)級視覺系統(tǒng)，包括工業(yè)相機、鏡頭、LED光源、光源控制器等，通過視覺支架進行集成，為所有的靜態(tài)目標檢測、分析和處理提供實驗的硬件環(huán)境。比如，可依托視覺模塊，進行物料的顏色識別、形狀識別、尺寸測量，并據(jù)此進行物料的分類，或者也可以開展缺陷檢測與質(zhì)量分選、無序物料搬運碼垛等相對復(fù)雜的實驗。

視覺系統(tǒng)結(jié)構(gòu)如下：

（8）3D視覺模塊

在實際應(yīng)用中，機械臂抓取的目標存在高度差異，而傳統(tǒng)2D視覺系統(tǒng)僅可以對物體的形狀、顏色、紋理等特征進行分析，但缺失深度信息，因而在機械臂抓取過程中容易造成機械臂執(zhí)行末端的碰撞與損壞。本實訓(xùn)平臺采用2D視覺系統(tǒng)加3D視覺系統(tǒng)，對缺失的深度信息進行補充，同步反饋給機器人控制系統(tǒng)，保障對各類高度物體抓取的安全性能。

3D視覺系統(tǒng)采用海康威視的3D相機，該相機采用主動雙目技術(shù)，支持 RGB 與深度圖同步高幀率輸出。結(jié)構(gòu)如圖所示。

（9）輸送系統(tǒng)

實訓(xùn)平臺配置整體操作臺面，臺面上安裝輸送線，通過電機控制輸送線的運轉(zhuǎn)并進行調(diào)速，完成物料傳輸。輸送系統(tǒng)主要包括輸送帶、控制箱、光電編碼器等，輸送線采用鋁合金邊框，線速度控制在0-0.5m/s。光電編碼器采用紅外對射感應(yīng)模塊，輸入電壓為DC12-24V，輸出電流為300mA，感應(yīng)距離為20-350cm，可以檢測1mm以上任何除無色透明外的物體。光電編碼器指向角為3-5°，響應(yīng)時間在2ms以內(nèi)。

（10）氣缸和氣動模塊

機器人的末端執(zhí)行機構(gòu)采用氣動吸盤，因此系統(tǒng)還需要配備氣動元件，包括氣泵、電磁閥、吸盤、氣管等部件，還需要配備傳感器等輔助外設(shè)。

此外，為了完成機器人系統(tǒng)模擬裝配、噴涂、切割等功能，平臺以氣缸為基礎(chǔ)，設(shè)置了作業(yè)模擬區(qū)和搬運碼垛模擬區(qū)。

3.人機交互系統(tǒng)

人機交互模塊主要包括三大模塊，即實時顯示模塊，語音交互模塊與手勢圖像識別模塊。實時顯示模塊為工控PC機輸出顯示，系統(tǒng)配置機器人運動檢測軟件，實時查看機器人運行狀態(tài)，動作類型等，為人機交互中的機器輸出。語音交互模塊配置自然語言處理識別模塊，完成自然語言高質(zhì)量輸入與預(yù)處理，用戶可根據(jù)自然語言處理算法與識別結(jié)果進行機器人顯示與動作執(zhí)行，完成人機交互。手勢圖像識別系統(tǒng)為單獨模塊，配置200W攝像頭，采用7寸液晶顯示屏，分辨率為1280×800，配置網(wǎng)絡(luò)設(shè)備，實現(xiàn)系統(tǒng)內(nèi)通信。手勢圖像識別模塊識別手勢時，可自定義如伸出1、2、3、4根手指，控制機械臂與用戶進行動作的交互，識別人臉時，可進行權(quán)限控制，即只有在特定人員操作時，機械臂才可接受控制。

4.PLC控制系統(tǒng)

PLC控制系統(tǒng)采用西門子1200系列PLC，系統(tǒng)集成16路輸入和16路輸出IO口，內(nèi)置高達64K大容量的RAM存儲，提供相關(guān)電氣連接線與附屬器件。

整體來說，該實訓(xùn)平臺集合了工業(yè)機器人、機器視覺、氣動、電氣控制、傳感器檢測、電機傳動以及工業(yè)通訊技術(shù)等多領(lǐng)域的關(guān)鍵技術(shù)，為實驗室提供一個先進的、高自由度的、創(chuàng)新性的研究和應(yīng)用平臺，適合工業(yè)機器人運動控制關(guān)鍵技術(shù)、機器視覺理論與應(yīng)用、工業(yè)機器人智能化等方向的研究。

六、課程資源

實驗室依托所提供的硬件產(chǎn)品，涵蓋多門課程資源，具體如下：

六、機器人應(yīng)用實踐

機器人應(yīng)用實踐結(jié)合本專業(yè)的人才培養(yǎng)方案，主要包括以下幾大類別：

1.示教與運動控制

依托一系列單元模塊，如示教、軌跡規(guī)劃、智慧立庫、分揀等，供學(xué)生進行機械臂的運動控制與常見應(yīng)用的學(xué)習(xí)。如通過拖動機械臂末端軸，記錄每一個位置時各個軸的狀態(tài)信息，完成機械臂的示教動作；通過為機械臂定義起點坐標與終點坐標，實現(xiàn)在空間中的直線、弧線運動，以及其他組合運動，從而為更復(fù)雜的機械臂應(yīng)用打下基礎(chǔ)。

2.機器人與傳感器

在機械臂內(nèi)部及實訓(xùn)平臺中，設(shè)置有氣缸、接近傳感器、光電傳感器以及霍爾傳感器等，傳感器種類多，數(shù)據(jù)格式各異，對機械臂的通訊與動作執(zhí)行均具有極其重要的影響。本系統(tǒng)主要以多種傳感器融合技術(shù)為課程實踐的重點，支持教師與學(xué)生開展多傳感器融合技術(shù)的應(yīng)用實踐和探索。

3.機器人與視覺系統(tǒng)

柔性制造是當前智能制造行業(yè)中的主流概念，通過引入視覺系統(tǒng)，可以給機械臂裝上眼睛，滿足在復(fù)雜可變的生產(chǎn)環(huán)境下機械臂的控制與動作的要求。如將視覺與機械臂結(jié)合，可以不同形狀、顏色、尺寸、外觀的物體進行分類識別，實現(xiàn)目標分揀、智能碼垛拆垛等功能；還可以基于深度學(xué)習(xí)等人工智能技術(shù)，實現(xiàn)對復(fù)雜背景下的目標特征分析、物體缺陷檢測、字符圖像分割、產(chǎn)品外觀分類等功能。